AI Papers Daily

#Pairwise Comparison

2 篇

(Towards) Scalable Reliable Automated Evaluation with Large Language Models

面向可扩展可靠的大语言模型自动化评估

🧭 LLM自动化评估框架

KIT

利用多LLM成对比较与Elo评级系统，实现可扩展且可靠的文本质量自动评估，减少人工干预。

📌 工作参考价值（4 点）

• 在推荐系统评估生成式文本（如商品描述、推送文案）时，可运用多LLM成对比较取代单模型评分，降低单个LLM偏差，提高评估稳健性。
• 采用Elo评级系统将两两对比转化为全局排名，适合持续迭代优化的场景，如A/B测试后的模型选优，能生成稳定且可解释的质量排序。
• 可调一致性阈值（从全票一致到多数投票）为工程实践提供灵活性：初期用高阈值保障高置信度，规模扩展时放宽阈值以提高覆盖率，权衡成本与信度。
• 该方法领域无关，可直接迁移至电商搜索、广告文案、对话Agent等多文本生成场景的离线和在线评估，大幅减少人工评审工作量。

Eval | 2026-07-30 | cs.CL | score 7/10

EvaluationPairwise ComparisonElo RatingLLM-as-JudgeAutomated Metrics

AURA: Adaptive Uncertainty-aware Refinement for LLM-as-a-Judge Auditing

自适应不确定性感知的LLM裁判审计精炼框架

🧭 LLM-as-a-Judge 审计与人类一致性校准

Georgia State University · Michigan State University · Concordia University · University of Manitoba

在有限人工验证下，迭代学习人类一致性信号并优先审查不确定比较，提升LLM评判可靠性

📌 工作参考价值（3 点）

• 当用LLM评判器离线评估搜索推荐系统的生成式内容（如推荐理由、对话推荐）时，可借鉴AURA的不确定性感知主动学习机制：优先将LLM低置信度的成对比较送人工审核，少量标注即可显著校准评判器偏见，降低大规模人工评估成本。
• 将“信任度”显式建模为隐变量并迭代更新的思路可以迁移到业务中：例如在推荐系统的A/B实验解读中，LLM对实验报告的分析结论可能因数据分布偏移而不稳定，通过收集少量人工验证反馈迭代修正信任权重。
• 提出的可靠证据传播策略可启发在多轮对话评估或序列推荐评估中，如何利用已确认的高质量判断来推断相邻未标注样本，从而提高评估效率。

Eval | 2026-06-18 | stat.ML | score 6/10

LLM-as-a-JudgeUncertainty EstimationHuman-in-the-LoopEvaluationAuditingPairwise Comparison